S3 バケットの中身を tree 形式で表示してくれる s3-tree を Amazon Linux 2 にインストールして使ってみた
tree 形式には抗いがたい魅力がありますよね。
コンバンハ、千葉（幸）です。
S3 バケットの中身を…… aws s3 ls の結果を…… tree の、 tree の形式で見たい……！！
皆さんはそんな場面に遭遇したこと、ありませんか？私はつい最近ありました。
ひとまずそんな思いに応えてくれるツールを見つけました。s3-treeです。
今回は Amazon Linux2 の EC2 インスタンスにインストールして S3 バケットを参照し、s3-treeの使用感を確認してみます。
公式のツールではないので、導入の是非は自身で判断しましょう
目次
いつもの aws s3 ls で確認した場合
s3-treeの確認をする前に、AWS CLI の aws s3 lsコマンドを使用した際の表示のイメージを確認しておきましょう。
例えば以下のような構造で S3 バケット内にオブジェクトが格納されているとします。
.
├── fuga
│ ├── fuga1.txt
│ ├── fuga2.txt
│ └── fuga3.txt
├── hoge
│ ├── hoge1.txt
│ └── hoge2.txt
└── piyo
└── kopiyo
└── index.html
これを aws s3 lsで参照すると以下のように表示されます。--recursiveオプションを付与することで再帰的に表示できます。
$ aws s3 ls --recursive ＜S3バケット名＞ 2020-09-01 21:42:00 0 fuga/fuga1.txt 2020-09-01 21:42:02 0 fuga/fuga2.txt 2020-09-01 21:42:02 0 fuga/fuga3.txt 2020-09-01 21:42:01 0 hoge/hoge1.txt 2020-09-01 21:42:01 0 hoge/hoge2.txt 2020-09-01 21:42:01 0 piyo/kopiyo/index.html
そこまで読み取りづらいというわけでもないですが、ついつい tree 形式に惹かれてしまうのが いきもののサガ というものです。
EC2 インスタンスのセットアップ
今回はクライアントとして EC2 インスタンスを使用します。詳細は割愛しますが、以下のような設定で作成を行いました。
- amzn2-ami-hvm-2.0.20200722.0-x86_64-gp2 (ami-0cc75a8978fbbc969)
- t2.micro
- セッションマネージャーで接続可能な状態にセットアップ
- S3 へのフルアクセス権限を割り当て
Systems Manager セッションマネージャーで接続したのち、豪快に root にスイッチして、後続の作業をすべて root で行います。検証なので。
事前準備
ページを確認すると、dependenciesとして以下が記されています。
- tree
- python3
- aws cli
先にこれらをインストールしておきます。
aws cli
Amazon Linux2 なので、予めインストールされています。
[root@ip-192-168-0-165 ~]# aws --version aws-cli/1.16.300 Python/2.7.18 Linux/4.14.186-146.268.amzn2.x86_64 botocore/1.13.36
python3 のインストール
yum でインストールしました。
[root@ip-192-168-0-165 ~]# yum install python3 Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Resolving Dependencies --> Running transaction check ---> Package python3.x86_64 0:3.7.8-1.amzn2.0.1 will be installed --> Processing Dependency: python3-libs(x86-64) = 3.7.8-1.amzn2.0.1 for package: python3-3.7.8-1.amzn2.0.1.x86_64 --> Processing Dependency: python3-setuptools for package: python3-3.7.8-1.amzn2.0.1.x86_64 --> Processing Dependency: python3-pip for package: python3-3.7.8-1.amzn2.0.1.x86_64 --> Processing Dependency: libpython3.7m.so.1.0()(64bit) for package: python3-3.7.8-1.amzn2.0.1.x86_64 --> Running transaction check ---> Package python3-libs.x86_64 0:3.7.8-1.amzn2.0.1 will be installed ---> Package python3-pip.noarch 0:9.0.3-1.amzn2.0.2 will be installed ---> Package python3-setuptools.noarch 0:38.4.0-3.amzn2.0.6 will be installed --> Finished Dependency Resolution Dependencies Resolved ======================================================================================================================================================================== Package Arch Version Repository Size ======================================================================================================================================================================== Installing: python3 x86_64 3.7.8-1.amzn2.0.1 amzn2-core 72 k Installing for dependencies: python3-libs x86_64 3.7.8-1.amzn2.0.1 amzn2-core 9.2 M python3-pip noarch 9.0.3-1.amzn2.0.2 amzn2-core 1.9 M python3-setuptools noarch 38.4.0-3.amzn2.0.6 amzn2-core 617 k Transaction Summary ======================================================================================================================================================================== Install 1 Package (+3 Dependent packages) Total download size: 12 M Installed size: 50 M Is this ok [y/d/N]: y Downloading packages: (1/4): python3-3.7.8-1.amzn2.0.1.x86_64.rpm | 72 kB 00:00:00 (2/4): python3-pip-9.0.3-1.amzn2.0.2.noarch.rpm | 1.9 MB 00:00:00 (3/4): python3-setuptools-38.4.0-3.amzn2.0.6.noarch.rpm | 617 kB 00:00:00 (4/4): python3-libs-3.7.8-1.amzn2.0.1.x86_64.rpm | 9.2 MB 00:00:00 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ Total 37 MB/s | 12 MB 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : python3-pip-9.0.3-1.amzn2.0.2.noarch 1/4 Installing : python3-3.7.8-1.amzn2.0.1.x86_64 2/4 Installing : python3-setuptools-38.4.0-3.amzn2.0.6.noarch 3/4 Installing : python3-libs-3.7.8-1.amzn2.0.1.x86_64 4/4 Verifying : python3-setuptools-38.4.0-3.amzn2.0.6.noarch 1/4 Verifying : python3-3.7.8-1.amzn2.0.1.x86_64 2/4 Verifying : python3-pip-9.0.3-1.amzn2.0.2.noarch 3/4 Verifying : python3-libs-3.7.8-1.amzn2.0.1.x86_64 4/4 Installed: python3.x86_64 0:3.7.8-1.amzn2.0.1 Dependency Installed: python3-libs.x86_64 0:3.7.8-1.amzn2.0.1 python3-pip.noarch 0:9.0.3-1.amzn2.0.2 python3-setuptools.noarch 0:38.4.0-3.amzn2.0.6 Complete!
バージョンはこの通りです。
[root@ip-192-168-0-165 ~]# python3 --version Python 3.7.8
ついでに pip3 もインストールされています。
[root@ip-192-168-0-165 ~]# pip3 --version pip 9.0.3 from /usr/lib/python3.7/site-packages (python 3.7)
tree のインストール
こちらも yum でインストールを行います。
[root@ip-192-168-0-165 ~]# yum install tree Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Resolving Dependencies --> Running transaction check ---> Package tree.x86_64 0:1.6.0-10.amzn2.0.1 will be installed --> Finished Dependency Resolution Dependencies Resolved ======================================================================================================================================================================== Package Arch Version Repository Size ======================================================================================================================================================================== Installing: tree x86_64 1.6.0-10.amzn2.0.1 amzn2-core 47 k Transaction Summary ======================================================================================================================================================================== Install 1 Package Total download size: 47 k Installed size: 83 k Is this ok [y/d/N]: y Downloading packages: tree-1.6.0-10.amzn2.0.1.x86_64.rpm | 47 kB 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : tree-1.6.0-10.amzn2.0.1.x86_64 1/1 Verifying : tree-1.6.0-10.amzn2.0.1.x86_64 1/1 Installed: tree.x86_64 0:1.6.0-10.amzn2.0.1 Complete!
コマンドの結果から自明ですが、バージョンです。
[root@ip-192-168-0-165 ~]# tree --version tree v1.6.0 (c) 1996 - 2011 by Steve Baker, Thomas Moore, Francesc Rocher, Kyosuke Tokoro
これで事前の準備が整いました。
s3-tree のインストールおよび実行
早速s3-treeをpip3でインストールしました。
[root@ip-192-168-0-165 ~]# pip3 install s3-tree WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead. Collecting s3-tree Downloading https://files.pythonhosted.org/packages/a1/ae/07f9f825e4448016f4927d9d707e560d867519360aa984bc9e98c89e57e8/s3_tree-0.1.0-py3-none-any.whl Requirement already satisfied: setuptools in /usr/lib/python3.7/site-packages (from s3-tree) Installing collected packages: s3-tree Successfully installed s3-tree-0.1.0
WARNING: Running pip install with root privileges is generally not a good idea. Try 'pip3 install --user' instead.という怒られが発生していますが、今回は検証なので気にしません。
インストールが成功したので help を確認してみます。ものすごくシンプルです。
[root@ip-192-168-0-165 ~]# s3-tree --help
usage: s3-tree [-h] [-v] [bucket]
list s3 bucket objects in a tree-like format.
positional arguments:
bucket list s3 bucket objects in a tree-like format.
$ s3-tree example
where example is the bucket you wanna show.
optional arguments:
-h, --help show this help message and exit
-v, --version show program's version number and exit
treeで使えるオプションがs3-treeでも使用できるわけではありません。階層の深さを指定したりフィリタリングを行ったりはできないので、全量を出力することになります。バケット内のオブジェクトが大量にある場合には注意が必要でしょう。
早速バケットを指定して実行してみます。
[root@ip-192-168-0-165 ~]# s3-tree ＜S3バケット名＞
＜S3バケット名＞
├── fuga
│ ├── fuga1.txt
│ ├── fuga2.txt
│ └── fuga3.txt
├── hoge
│ ├── hoge1.txt
│ └── hoge2.txt
└── piyo
└── kopiyo
└── index.html
4 directories, 6 files
見慣れた tree の形式で結果が確認できました！
S3 バケットにおいては「ディレクトリ」「ファイル」という表現は正確ではありませんが、ディレクトリ数やファイル数をいつもの tree のノリで表示してくれます。
せっかくなので数十万オブジェクトがあるバケットに対して実行してみました。
[root@ip-192-168-0-165 ~]# s3-tree ＜オブジェクトいっぱいのS3バケット名＞ ＜オブジェクトいっぱいのS3バケット名＞ ----略---- │ ├── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T055310Z.json.gz │ ├── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T065310Z.json.gz │ ├── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T075310Z.json.gz │ ├── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T085310Z.json.gz │ ├── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T095310Z.json.gz │ ├── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T105310Z.json.gz │ └── 000000000000_CloudTrail-Digest_us-west-2_testtrail_ap-northeast-2_20200901T115310Z.json.gz ├── japanese_output ├── manifest.json └── powershell-7.0.0-1.rhel.7.x86_64.rpm.zip 6466 directories, 259056 files
今回試した環境では、2分30秒程度で全ての出力が完了しました。
数十秒の間は画面に何も出力されなかったので、少しドキドキしました。
終わりに
S3 バケットの中身を tree 形式で表示してくれるツールs3-treeの確認でした。
細かいオプションには対応していないシンプル機能なので、ちょっとしたボリュームのバケットの中身をお手軽に確認したい、という場面で使うことになりそうです。
本当は、このようなツールを使わず AWS CLI の標準機能だけで、 tree 形式で表示できると嬉しいですね。ワンライナー的なやつでゴリゴリするとできたりするのでしょうか。詳しくないので分かりません。
冒頭の繰り返しとなりますが、公式のツールでないことを鑑み、適宜ご判断の上ご利用ください。
以上、千葉（幸）がお送りしました。
![[アップデート] Amazon Cognito ユーザープールに機能プランの概念が導入され、料金計算方法が変わります](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-a818da17018141da489a79231ff888af/262f4f06026559b98b1fdec52f1a2176/amazon-cognito)
![[新機能] AWS Glue Data Catalog の Apache Icebergテーブルの自動最適化機能がVPC対応したので試してみました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-545ba5dfbc8fa4c7760dd9872ef835f9/665944e579f487b4434cb289305767b3/aws-glue)
